Năm Lưu Khứ còn chưa thành niên, được một sư phụ dạy kinh Dịch, người này nhiều lần khuyên dạy Lưu Khứ khiến Lưu Khứ bực mình, đuổi đi, sau đó do sư phụ này muốn tố cáo với cha ông, ông sai người giết chết, vụ án này đã lâu không bị nhà Hán phát giác[2].

Về sau, Lưu Khứ ham mê tửu sắc, nhiều lần triệu ca kĩ vào cung, bắt họ lột đồ ra mà múa hát. Có người tố cáo việc làm của Lưu Khứ trong hậu cung lên nhà Hán, nhà Hán sai sứ giả đến điều tra. Sứ giả muốn gặp Vọng Khanh và em là Đô, Lưu Khứ trả lời

Sau đó, nhà Hán ra lệnh xá miễn cho Lưu Khứ.

Lúc Vọng Khanh bị Chiêu Tín hãm hại, phó thác con và em trai là Vọng Đô cho mẹ mình. Chiêu Tín sai nô tì giết bà mẹ và Vọng Đô đi.

Năm Bổn Thủy thứ ba đời Hán Tuyên Đế (70 TCN), Quảng Xuyên nội sử tố cáo tất cả các việc xấu xa của Lưu Khứ lên nhà Hán. Hán Tuyên Đế sai các quan Đại Hồng Lư, Thừa tướng trưởng sử, Ngự sử thừa, Đình úy điều tra, sau đó đình thần xin bắt Chiêu Tín và các nô tì hạ ngục. Hữu ti xin phế tước vương của Lưu Khứ. Triều đình hội nghị, cho rằng Lưu Khứ bội ngược giết thầy, lại nghe lời sàm ngôn mà giết hại cung nhân, giết 16 người, trong đó có ba người cùng một nhà[5], rồi quyết định phế trừ vương tước, đày sang huyện Thượng Dung và cho hưởng lộc 100 hộ[6]. Lưu Khứ lo sợ tự sát, Dương Thành Chiêu Tín bị chém đầu rồi vứt thủ cấp đi. Nước Quảng Xuyên bị phế trừ, nhập vào nhà Hán.

Lưu Khứ làm vương ở Quảng Xuyên 22 năm, không rõ bao nhiêu tuổi. Bốn năm sau, Tuyên Đế lập Lưu Văn lên làm Quảng Xuyên vương, phụng tự cho Quảng Xuyên Huệ vương Lưu Việt.